<?php
/* 海龙挖掘机 2.0正式版
 * 正文提取，分析，可自动判断编码，自动转码
 * 原理：根据代码块加权的原理，首先将HTML分成若干个小块，然后对每个小块进行评分。
 * 取分数在3分以上的代码块中的内容返回
 * 加分项 1 含有标点符号
 *        2 含有<p>标签
 *        3 含有<br>标签
 * 减分项 1 含有li标签
 *        2 不包含任何标点符号
 *        3 含有关键词javascript
 *        4 不包含任何中文的，直接删除
 *        5 有<li><a这样标签
 * 实例：
 * $he = new HtmlExtractor();
 * $str = $he->text($html);
 * 其中$html是某个网页的HTML代码，$str是返回的正文，正文编码是utf-8的
 */
class HtmlExtractor {

	/*
	 * 取得汉字的个数（目前不太精确)
	 */
	function chineseCount($str){
		$count = preg_match_all("/[\xB0-\xF7][\xA1-\xFE]/",$str,$ff);
		return $count;
	}

	/*
	 * 判断一段文字是否是UTF-8，如果不是，那么要转成UTF-8
	 */
	function getutf8($str){
		if(!$this->is_utf8(substr(strip_tags($str),0,500))){
			$str = $this->auto_charset($str,"gbk","utf-8");
		}
		return $str;
	}

	function is_utf8($string)
	{
		if(preg_match("/^([".chr(228)."-".chr(233)."]{1}[".chr(128)."-".chr(191)."]{1}[".chr(128)."-".chr(191)."]{1}){1}/",$string) == true || preg_match("/([".chr(228)."-".chr(233)."]{1}[".chr(128)."-".chr(191)."]{1}[".chr(128)."-".chr(191)."]{1}){1}$/",$string) == true || preg_match("/([".chr(228)."-".chr(233)."]{1}[".chr(128)."-".chr(191)."]{1}[".chr(128)."-".chr(191)."]{1}){2,}/",$string) == true){
			return true;
		}else{
			return false;
		}
	}

	/*
	 * 自动转换字符集，支持数组和字符串
	 */
	function auto_charset($fContents,$from,$to){
		$from   =  strtoupper($from)=='UTF8'? 'utf-8':$from;
		$to       =  strtoupper($to)=='UTF8'? 'utf-8':$to;
		if( strtoupper($from) === strtoupper($to) || empty($fContents) || (is_scalar($fContents) && !is_string($fContents)) ){
			//如果编码相同或者非字符串标量则不转换
			return $fContents;
		}
		if(is_string($fContents) ) {
			if(function_exists('mb_convert_encoding')){
				return mb_convert_encoding ($fContents, $to, $from);
			}elseif(function_exists('iconv')){
				return iconv($from,$to,$fContents);
			}else{
				return $fContents;
			}
		}
		elseif(is_array($fContents)){
			foreach ( $fContents as $key => $val ) {
				$_key =     $this->auto_charset($key,$from,$to);
				$fContents[$_key] = $this->auto_charset($val,$from,$to);
				if($key != $_key )
				unset($fContents[$key]);
			}
			return $fContents;
		}
		else{
			return $fContents;
		}
	}

	/*
	 * 进行正文提取动作
	 */
	function text($str){
		$str = $this->clear($str);
		$str = $this->getutf8($str);
		$divList = $this->divList($str);
		$content = array();
		foreach($divList[0] as $k=>$v){
			//首先判断，如果这个内容块的汉字数量站总数量的一半还多，那么就直接保留
			//还要判断，是不是一个A标签把整个内容都扩上
			if($this->chineseCount($v)/(strlen($v)/3) >= 0.4 && $this->checkHref($v)){
				array_push($content,strip_tags($v,"<p><br>"));
			}else if($this->makeScore($v) >= 3){
				//然后根据分数判断，如果大于3分的，保留
				array_push($content,strip_tags($v,"<p><br>"));
			}else{
				//这些就是排除的内容了
			}
		}
		return implode("",$content);
	}

	/*
	 * 判断是不是一个A标签把整个内容都扩上
	 * 判断方法：把A标签和它的内容都去掉后，看是否还含有中文
	 */
	private function checkHref($str){
		if(!preg_match("'<a[^>]*?>(.*)</a>'si",$str)){
			//如果不包含A标签，那不用管了，99%是正文
			return true;
		}
		$clear_str = preg_replace("'<a[^>]*?>(.*)</a>'si","",$str);
		if($this->chineseCount($clear_str)){
			return true;
		}else{
			return false;
		}
	}

	function makeScore($str){
		$score = 0;
		//标点分数
		$score += $this->score1($str);
		//判断含有P标签
		$score += $this->score2($str);
		//判断是否含有br标签
		$score += $this->score3($str);
		//判断是否含有li标签
		$score -= $this->score4($str);
		//判断是否不包含任何标点符号
		$score -= $this->score5($str);
		//判断javascript关键字
		$score -= $this->score6($str);
		//判断<li><a这样的标签
		$score -= $this->score7($str);
		return $score;
	}

	/*
	 * 判断是否有标点符号
	 */
	private function score1($str){
		//取得标点符号的个数
		$count = preg_match_all("/(，|。|！|（|）|“|”|；|《|》|、)/si",$str,$out);
		if($count){
			return $count * 2;
		}else{
			return 0;
		}
	}

	/*
	 * 判断是否含有P标签
	 */
	private function score2($str){
		$count = preg_match_all("'<p[^>]*?>.*?</p>'si",$str,$out);
		return $count * 2;
	}

	/*
	 * 判断是否含有BR标签
	 */
	private function score3($str){
		$count = preg_match_all("'<br/>'si",$str,$out) + preg_match_all("'<br>'si",$str,$out);
		return $count * 2;
	}

	/*
	 * 判断是否含有li标签
	 */
	private function score4($str){
		//有多少，减多少分 * 2
		$count = preg_match_all("'<li[^>]*?>.*?</li>'si",$str,$out);
		return $count * 2;
	}

	/*
	 * 判断是否不包含任何标点符号
	 */
	private function score5($str){
		if(!preg_match_all("/(，|。|！|（|）|“|”|；|《|》|、|【|】)/si",$str,$out)){
			return 2;
		}else{
			return 0;
		}
	}

	/*
	 * 判断是否包含javascript关键字，有几个，减几分
	 */
	private function score6($str){
		$count = preg_match_all("'javascript'si",$str,$out);
		return $count;
	}

	/*
	 * 判断<li><a这样的标签，有几个，减几分
	 */
	private function score7($str){
		$count = preg_match_all("'<li[^>]*?>.*?<a'si",$str,$out);
		return $count * 2;
	}

	/*
	 * 去噪
	 */
	private function clear($str){
		$str = preg_replace("'<script[^>]*?>.*?</script>'si","",$str);
		$str = preg_replace("'<style[^>]*?>.*?</style>'si","",$str);
		$str = preg_replace("'<!--.*?-->'si","",$str);
		return $str;
	}

	/*
	 * 取得内容块
	 */
	private function divList($str){
		preg_match_all("'<[^a][^>]*?>.*?</[^>]*?>'si",$str,$divlist);
		return $divlist;
	}
}